青云QingCloud是全球首家实现资源秒级响应并按秒计量的基础云服务商，致力于为企业用户提供安全可靠、性能卓越、按需、实时的 IT 资源交付平台。其产品包含完整的IaaS层组件、PaaS层服务及超融合硬件设备。
QingCloud采用分布式块存储系统确保高性能I/O,部署实时异地副本保障数据安全，通过云端SDN实现灵活易用的专享私有云服务（VPC），提供块设备级的备份与恢复，设计实时P2P机器人社区协作确保故障无害，支持全透明代理模式的负载均衡器，提供基于自身IaaS平台构建的PaaS服务，并无限制开放全部功能API.
青云QingCloud 发布大数据基础平台
在为逾30,000家企业提供公有云服务的同时，QingCloud面向中、大型政企用户提供包含软硬件产品的云计算整体解决方案，帮助企业用户构建和运维更加可靠、敏捷、高效的IT基础资源调度平台，有效降低总拥有成本和运维投入。
2015年7月22日，青云QingCloud首届用户大会在北京千禧大酒店，青云CEO黄允松先生开场致辞，他表示：“诞生自一个”用技术改变世界“的理想。从无闻到有口皆碑，QingCloud 是如何用技术征服市场？从公有云平台到完整的企业级云计算解决方案服务商，QingCloud 又是又如何一步步践行自己的愿景？从第三方云服务商到整合了众多第三方产品的基础资源与服务平台，QingCloud如何打造基于开放的基础云平台的生态系统？展望未来，云计算将如何开创一个新的科技创新时代？且听 Richard 道来。”
青云QingCloud 发布大数据基础平台
此次大会上青云发布会了多个亮点内容：QingCloud 对象存储服务发布、大数据基础平台发布、桌面云发布 打造企业办公解决方案、超融合一体化设备发布以及高效的研发管理等等诸多方面。此外会上QingCloud研发管理经验分享“小而精团队”的高效运行；知名企业IT变革与创新先行者分享云计算促进企业IT转型和业务创新经验，并与大家探讨了互联网各行业明星用户共话云计算与互联网金融、云生态与互联网创业等当下热门话题等等。
对象存储服务发布
QingCloud 对象存储服务除了提供足够的稳定性、安全性、高效、便捷以外，还为企业客户提供便利的工具，能够将系统、程序、代码等快捷地跟QingCloud对象存储服务对接起来。
海量文件到底怎么存储呢？
第一，单机来存。用单机挂块存储的方式进行存储，当数据的容量和数量都不可期的情况下，这种方案不可行。
第二，用户自己做分布式处理。自己做的困难点在哪里？当数据量可预见时可以做简单的处理，假设数据量在很长一段时间里都是10T以内，那么用户就可以创建十台主机挂载一些硬盘，做简单的映射。但当数据量不可期时怎么办？一定会面临增加节点或者缩减节点后的数据平衡问题，怎么做平衡？怎么在平衡的时候保证服务的高可用？当数据量越来越大时怎么做索引？索引越来越多是怎么做索引层的分布？由于本地文件系统的限制，怎么去最大化的利用空间？ 如果存储海量的小文件如何做合并？合并以后怎么找到它？对合并文件如何做索引？怎么面对高并发的请求？在这里只是提出一些最基本的问题，事实上如果用户如果自己去做分布式，远比这些复杂得多。因此，这种方案对于用户来说，开发成本高、运维成本高。
第三，用开源的解决方案。在QingCloud上也有很多用户用开源的分布式存储方案，如FastDFS、GlusterFS、HDFS等。但是开源的分布式存储系统几乎都是为特定场景而设计的。以GlusterFS为例，它只是做了一个弹性的调度算法，未对用户所上传的文件做任何修改，也就是说，如果你上传了一个文件A,那么你就会在GlusterFS集群中的某一个节点的某一块硬盘或者硬盘分区的文件系统上，看到文件A原封不动的在那里，因此本地文件系统的那些限制会依然存在。比如存储大量小文件时性能问题，这也是GlusterFS一直以来被人诟病的地方。比如存储大文件，文件容量超出GlusterFS集群中任何一块硬盘（准确的说的话是“盘或者盘的分区”,但为了不那么技术细节，我们这里姑且就用“盘”吧）的空间时会怎么样，会失败，因为GlusterFS未对大文件没有做任何切割，因此就会面临小文件和大文件存储的问题。用开源方案还会面临另外两个问题，二次开发成本高和运维成本高，需要对系统有足够深入的了解才能做二次开发，才能够在出故障时快速恢复。
第四，使用第三方对象存储服务。用户的计算资源是QingCloud的， 存储是第三方的存储，这一方式的问题在于一方面给用户造成了业务上的分离，另一方面数据传输需要借助公网，延时会很高，带宽成本也高。对于用户来说这种方案不完美。
我们看到用户的这些痛点，为了解决它们，QingCloud推出了对象存储服务。下面来看一下QingCloud对象存储的特点：
第一，不限制。我们要做公有的服务，无法判断用户的业务场景，因此我们对数据的类型、大小、数目无限制。为了在用户业务高并发的情况下，QingCloud对象存储系统可以正常支撑用户的业务，我们在流量、并发方面也没有限制。
第二，无限扩展。无限扩展是我们做对象存储的初衷，一方面在空间上可以无限的水平扩展，另一方面在时间和效率上，性能随容量线性提升。
第三，数据安全。数据安全是我们做存储的底线，不能让用户丢数据。
第四，监控。监控分多个维度，如API调用次数、请求的流量、数据的容量等。在监控周期上，我们系统可以做到实时的监控，但对于对象存储系统来说，实时监控的意义并不大，我们将监控的展现粒度设置为了1小时。
第五，易用。在做对象存储接口设计时，我们完全遵循了HTTP协议规范，以及RESTful里面的约定，最终展示给用户的是RESTful的API,用户可以通过HTTP和HTTPS的方式访问，同时我们会提供SDK、命令行工具，以及QingCloud控制台上的图形界面。
第六，访问安全。在安全性方面我们也做了很多工作：
请求验证基于对称加密技术， 与QingCloud IaaS的请求验证方式一致，对于用户而言，用同一套API密钥既可以访问QingCloud的IaaS,又能访问对象存储服务。
我们支持HTTPS和HTTP,用户可以根据自己的需求选择使用哪一种方式。
访问权限控制，我们做了存储空间级别的访问控制列表，所赋予权限的实体可以到单个用户级别。权限包括私有、公开只读、公开读写、面向某个或某些用户的读、面向某个或某些用户的读写等。
跨域访问控制。主要为了防止在网页中嵌入的恶意代码，进行恶意数据上传。
第七，与计算紧密结合。QingCloud作为基础云服务商，与其他第三方对象存储提供商不同，QingCloud的对象存储可以与自身的计算紧密结合。因为QingCloud IaaS就是跨区域部署的，而存储应该和计算资源尽可能的接近， 以保证用户系统的完整性，方便用户的管理与部署。因此在做对象存储时，我们也采取了多区域部署的路线，当用户的计算资源和对象存储空间在同一个区时，数据通过内网传输，对于用户而言有两个好处，低延时和低成本。
大数据基础平台发布
基于QingCloud自身IaaS平台的优点，QingCloud大数据基础平台可以提供稳定、可靠、高可用、在线扩容、在线/离线迁移、监控告警等服务。所有的大数据服务都是多样化的、组件式的。目前发布的有ZooKeeper、Kafka、 MongoDB、Spark等，接下来陆续会发布Hadoop、HBase、Cassandra、Storm等。用户可以很方便的构建出适合自己业务需求的大数据解决方案。
随着互联网尤其是移动互联网的蓬勃发展，数据量呈爆炸式增长，数据来源和格式也多样化，我们对数据处理的实时性要求也越来越高，传统的IT基础架构已经无法满足我们的需求。比如，我们不能期待MySQL存放几百T的数据，性能还没有损耗。这时我们需要支持PB级别的分布式存储和分布式计算框架，而这些分布式系统要支持伸缩以适应数据量的急剧变化，没有底层基础架构的支持，大数据只能是纸上谈兵，因此，基础架构是大数据的基石。
如何部署大数据基础平台？要么部署在物理机上，要么部署在云平台上，具体采用哪种方式，完全取决于大数据的特点。大数据的特点有哪些？第一，不可预期的海量数据。第二，数据量是在急剧变化的。比如说用户行为的跟踪与分析，白天我们要收集处理大量的数据，晚上这些数据会下降很多。第三，很多时候是一次性数据，处理完毕以后平台就不需要了。
面对这些场景，物理机的方案是捉襟见肘的，无法做到弹性伸缩，部署也不灵活，而且要提前购买大量的资源。而这些正是云计算的优势，云计算能够弹性伸缩，需要时创建，不需要时销毁，并且这些操作只需要点击鼠标、几分钟之内即可完成，甚至可以使用AutoScaling、自动化这些操作。因此，云计算才是大数据基础平台最好的部署方案。当然，也会有人质疑云计算的性能和稳定性的问题。
我们先来看性能。之前有用户想把大数据平台部署到QingCloud上，称性能损失50%以内都可以接受，我们听到这句话既开心又担忧，开心在于QingCloud的性能是无限的接近于物理设备的性能，50%很容易满足。担忧在于用户的要求太低，很容易被其他云服务商误导。
关于稳定性，很多用户测试后发觉在云上跑大数据是不稳定的，其表现形式是虚机会无缘无故的宕掉，实际上这跟IaaS层的健壮性有关，跟平台的设计有关，如果这些都能做好，云上大数据是更稳定的。
如何在云上提供稳定、可靠和高性能的大数据服务呢？首先需要强调我们是在云平台上来做产品和服务的，要充分挖掘云的特点，比如说Hadoop的存储副本因子默认是3,设计的初衷是防止两个副本所在的机架出问题， 而把第三个副本放在另外一个机架上，在云上你是不知道你的虚机跑在哪个机架上的，所以第三个副本在云上是没有意义的，而去掉这个副本，不仅节约1/3的存储空间，性能还能得到提升。去掉这个副本带来的高可用和稳定性的问题，完全可以由IaaS做保障。因此，在云上两个副本是足够的。
从实践应用来看，关于Spark主节点的高可用问题，官方文档推荐用ZooKeeper管理多个Spark主节点， 它的故障切换时间是1-2分钟，如果云上部署Spark这种方式不可取。因为创建虚机的时间是几秒钟，加上Spark系统恢复时间不到一分钟，我们用重构Spark主节点的方案时间在1分钟左右，甚至比官方推荐方案时间更短，而且可以节省3个ZooKeeper节点和1个Spark主节点。这说明云上做大数据是具备天然优势的，我们需要的是创新性的思维。
Spark是一个基于内存的分布式计算系统，相比Hadoop,它在性能上比Hadoop要高100倍。实际上Spark的核心是它的RDD计算模型以及基于全局最优的DAG有向无环图编排方式，而MapReduce是基于局部的。这就导致了即使是基于硬盘计算，Spark也要比MapReduce快十倍左右。并且Spark在RDD的基础之上也封装了很多有用的组件，比如说处理结构化数据的Spark SQL,流式计算的Spark Streaming,机器学习， 图计算等等。这些工具不仅性能优越，用户体验也非常棒。这对数据科学家以及从事社交网络的公司来说是无法抗拒的诱惑力，你只需要几行代码就可以运行经典成熟的机器学习算法算出结果。
我们在提供Spark全栈服务的同时，还对Hadoop做了集成，将Spark work节点运行在Hadoop DataNode节点上。同时我们也会兼顾了用户数据存在远端的情况，比如说用户的数据可以通过Kafka传输进来，可以通过MongoDB数据库存储进来的等等。除此之外，由于QingCloud自身IaaS平台的优点，我们的大数据基础平台可以提供稳定、可靠、高可用、在线扩容、在线/离线迁移、监控告警等服务。所有的大数据服务都是多样化的、组件式的，用户可以很方便的构建出适合自己业务需求的大数据解决方案。
青云QingCloud大数据基础平台服务是由一系列可自由组建端到端行业解决方案的部件构成的，目前发布的有ZooKeeper、Kafka、 MongoDB、Spark等，接下来陆续会发布Hadoop、HBase、Cassandra、Storm等。QingCloud提供的都是配置进行过优化的原生的中间件，这样用户可以无缝切换已有的大数据应用到QingCloud.
超融合一体化设备开启融合3.0时代
QingCloud的超融合一体机预集成了QingCloud虚拟化平台、云平台管理软件、SDN网络和分布式存储，支持硬件的自动发现与配置，支持通过简单的增加节点、 连线、 上电完成云平台的部署和扩容。实现简化IT,一步上云的目的，开启融合3.0时代
从服务器角度来看，从大型机进化到小型机再到塔式服务器，互联网公司最早使用塔式服务器组建数据中心来满足他们的需求，但是非常难以维护。随着业务的需求和服务器的发展，诞生了刀片服务器、存储和网络，通过机架将它们放在同一个机房，从而诞生了现在的IDC.再往右边看，未来的数据中心将会是软件定义的数据中心，所有机架上的设备没有区别，没有网络设备、没有存储设备、没有刀片机，所有的硬件能力都将会融合在一起。
从架构设计角度来看，在融合1.0时代，仅仅解决了快速上架的问题， 把不同厂家的硬件装在一个盒子里，搭一个硬件积木。而实际上，所有的硬件及功能都是割裂的， 用户仍然需要面对多个管理界面并分别维护IP和FC网络。企业为了满足性能需求只能不断的通过纵向扩展的方式升级硬件设备，但存储与计算的分离设计限制了扩展性及灵活性。
融合2.0时代，完全去除了共享SAN架构，通过分布式文件系统提供Server SAN,融合2.0摆脱对存储硬件的制约，但是企业还需要在上面重新部署所有的软件，这些软件都是割裂的，无法实现一个完整的云计算环境。
QingCloud的超融合一体机预集成了QingCloud虚拟化平台、云平台管理软件、SDN网络和分布式存储，支持硬件的自动发现与配置，支持通过简单的增加节点、 连线、 上电完成云平台的部署和扩容。实现简化IT,一步上云的目的，这就是融合3.0 .
本次发布的QingCloud的超融合一体机有四种型号，分别是F系列（全闪存 – 极致存储性能）、S系列（高性能存储 全SATA）、NL系列（高容量存储）、C系列（SDN网关及管理）。
我们简单介绍一下F系列（全闪存 – 极致存储性能）和S系列（高性能存储 全SATA）性能参数。
F系列，通过双节点的2U服务器最大可提供288个VM资源池的规模，而且闪存使用的是Flash而不是SSD,免除了RAID可能面临的瓶颈问题。通过PCIe总线直接将Flash和CPU连接起来，降低物理部署对于闪存的性能开销，可以在一台F系列提供60万的IOPS,传统的存储柜大概能提供40万的IOPS,如需更多IOPS,横向扩展即可。另外通过采用高密度的方案，我们节省了50%的布线，同时减少了16%电源的消耗。
S系列，在4U的空间里提供了4个节点集群，最大支持384个虚拟机，拥有56个热插拔SAS盘位，最大提供100TB存储容量。同时抛弃背板，采用直连的方式，每个硬盘的磁盘通道都是6Gb,共提供256Gb/s的磁盘带宽，完全无拥塞的设计。在电源上也是采用了共享电源方案，节能16%以上， 标准配置下的功耗在900w~1250w,是非常节能的方案。
总的来说，QingCloud的超融合一体机具备以下特点：第一，零干预，开箱即用，自调优；第二，统一，所有设备都可以在同一控制台监控和管理；第三，P2P架构，免除单点故障，支持无限的水平线性扩展；第四，融合3.0,具备完整的IaaS能力；第五，低成本，低消耗，低空间占用。
使用QingCloud超融合系统后，我们发现QingCloud自身的能耗、空间和布线分别降低16%、50%和50%,节省了大量的人力、运营成本。
总的来说，QingCloud超融合一体机可以有效帮助企业简化其IT架构，从而轻松构建灵活、弹性、高效的云计算平台，降低企业IT的支出与运维管理成本，在企业的IT升级、信息化改造、桌面云、数据中心建设等场景中，QingCloud超融合一体机将是企业IT基础设施的首选产品。
本文网址：
